Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge
信息丰度悖论：长上下文训练削弱参数化知识
🧭 长上下文训练中参数化与上下文化的权衡 ★ 深度解读
Johns Hopkins University
提出信息丰度悖论：训练上下文越丰富，模型越依赖上下文而非参数知识，导致长上下文训练并非中性增益
📌 工作参考价值（4 点）
- 在电商搜索/推荐中用 LLM 建模用户行为序列时，盲目拉长训练上下文可能让模型过度依赖近期上下文，削弱对长期兴趣的参数化表达；建议通过无上下文/冲突上下文测试评估模型鲁棒性，找到最优上下文窗口而非一律用最大长度。
- 微调推荐/Agent 模型时，若训练集中大量提供高质量候选上下文（如检索文档、相似商品），模型容易“上瘾”于上下文。可在微调时混合一定比例无上下文或含噪声上下文的样本，迫使模型同时保留参数知识。
- LoRA 适配器放置位置可以调节学习模式：希望模型更多依赖参数知识（如长期用户画像）则倾向于只更新 FFN 层；希望模型更好利用上下文（如对话历史）则更新 Attention 层。可根据业务需求选择模块化微调策略。
- 在 RAG 或长上下文生成式推荐中，性能可能随上下文长度呈倒 U 型；建议在验证集上搜索最优上下文长度，并监控模型在上下文缺失或误导时的衰减程度，避免部署后出现脆弱性。